CNBC: Nvidia începe producţia de serie a sistemelor Groq 3 LPX

Nvidia a anunţat că sistemele Groq 3 LPX au intrat în producţie de serie şi vor deveni operaţionale până la sfârşitul acestui an, marcând prima comercializare importantă a tehnologiei preluate prin cea mai mare achiziţie din istoria companiei, transmite CNBC.

Producătorul american de cipuri a cumpărat în decembrie active ale startupului Groq pentru 20 de miliarde de dolari. Acum, Nvidia încearcă să introducă rapid tehnologia în centrele de date, pe fondul creşterii cererii pentru sisteme capabile să ofere răspunsuri AI aproape instantaneu, potrivit CNBC.

Rack-urile Groq 3 LPX vor fi instalate la furnizorul de infrastructură cloud Nebius, alături de procesoarele Vera şi GPU-urile Rubin ale Nvidia, a declarat Dion Harris, director senior al companiei, relatează CNBC.

Groq este specializat în cipuri destinate procesului de ”inference”, adică etapa în care un model AI deja antrenat generează efectiv răspunsurile solicitate de utilizator, transmite CNBC.

Reducerea latenţei devine tot mai importantă odată cu dezvoltarea agenţilor AI şi a instrumentelor pentru programare, unde utilizatorii se aşteaptă ca sistemele să reacţioneze foarte rapid. Potrivit Nvidia, operatorii cloud ar putea chiar să ofere servicii premium, mai scumpe, clienţilor care solicită timpi foarte mici de răspuns, potrivit CNBC.

Fiecare rack LPX include 256 de cipuri Groq 3. Nvidia afirmă că sistemul poate furniza aproximativ 3.400 de tokeni pe secundă, citând un benchmark realizat de Artificial Analysis, transmite CNBC.

Arhitectura Groq include 500 MB de memorie SRAM integrată direct pe cip, o soluţie menită să reducă blocajele asociate accesului la memorie. Cipurile Groq sunt fabricate de Samsung, în timp ce GPU-urile Nvidia sunt produse de TSMC, relatează CNBC.

Compania precizează însă că aceste procesoare nu sunt concepute pentru a înlocui GPU-urile. GPU-urile pot fi utilizate atât pentru antrenarea modelelor AI, cât şi pentru inference, în timp ce cipurile cu latenţă redusă precum Groq sunt concentrate în special pe etapa de „decode”, când modelul generează răspunsul, potrivit CNBC.

”Nu este vorba despre înlocuirea GPU-urilor”, a declarat Harris. Obiectivul este folosirea procesorului potrivit pentru fiecare parte a sarcinii de calcul, transmite CNBC.

Nvidia se confruntă şi cu rivali care dezvoltă soluţii pentru inference cu latenţă redusă. AMD a anunţat în acest an că va integra sistemele sale la nivel de rack cu cipuri produse de Cerebras, relatează CNBC.

În acelaşi timp, Nvidia accelerează livrările sistemelor Vera Rubin, care au intrat în producţie la începutul acestui an. CEO-ul Jensen Huang a estimat în martie că generaţia Blackwell şi noile sisteme Vera Rubin ar putea genera împreună vânzări cumulate de 1.000 de miliarde de dolari până în 2027, potrivit CNBC.

Huang a mai spus că aproximativ un sfert din spaţiul centrelor de date destinat aplicaţiilor de programare ar putea fi alocat cipurilor Groq, restul urmând să utilizeze în principal sistemele Vera Rubin, transmite CNBC.

Anunţul privind Groq vine înaintea unui alt moment important pentru Nvidia: compania urmează să îşi publice miercuri rezultatele financiare, relatează CNBC.